Multivariate time series forecasting with hierarchical structure is pervasive in real-world applications, demanding not only predicting each level of the hierarchy, but also reconciling all forecasts to ensure coherency, i.e., the forecasts should satisfy the hierarchical aggregation constraints. Moreover, the disparities of statistical characteristics between levels can be huge, worsened by non-Gaussian distributions and non-linear correlations. To this extent, we propose a novel end-to-end hierarchical time series forecasting model, based on conditioned normalizing flow-based autoregressive transformer reconciliation, to represent complex data distribution while simultaneously reconciling the forecasts to ensure coherency. Unlike other state-of-the-art methods, we achieve the forecasting and reconciliation simultaneously without requiring any explicit post-processing step. In addition, by harnessing the power of deep model, we do not rely on any assumption such as unbiased estimates or Gaussian distribution. Our evaluation experiments are conducted on four real-world hierarchical datasets from different industrial domains (three public ones and a dataset from the application servers of Alipay's data center) and the preliminary results demonstrate efficacy of our proposed method.

除了在经典图像压缩编解码器上实现较高的压缩效率外，还可以通过其他侧面信息（例如，从同一场景的不同角度）改进深层图像压缩。为了更好地利用分布式压缩方案下的侧面信息，现有方法（Ayzik和Avidan 2020）仅在图像域上实现匹配的补丁，以解决由查看点差异引起的视差问题。但是，在图像域上匹配的补丁匹配对由不同的视角引起的比例，形状和照明的差异并不强大，也无法充分利用侧面信息图像的丰富纹理信息。为了解决此问题，我们建议在分布式图像压缩模型的解码器上充分利用多尺度特征域贴片匹配（MSFDPM）。具体而言，MSFDPM由侧面信息特征提取器，多尺度特征域补丁匹配模块和多尺度特征融合网络组成。此外，我们重复使用从浅层层进行斑点相关性，以加速深层的贴片匹配。最后，我们认为，与图像域（Ayzik和Avidan 2020）的贴片匹配方法相比，在多尺度特征域中的匹配进一步提高了压缩率约20％。

多视图立体声是计算机视觉中的一项重要研究任务，同时仍然保持挑战。近年来，基于深度学习的方法在这项任务上表现出卓越的性能。基于金字塔网络的成本量基于金字塔网络的方法，以粗到精细的方式逐步完善深度图，在消耗较少的记忆力的同时，取得了令人鼓舞的结果。但是，这些方法无法完全考虑每个阶段成本量的特征，从而为每个成本量阶段采用类似的范围搜索策略。在这项工作中，我们提出了一个基于多视图立体声的不同搜索策略的新颖成本量的网络。通过选择不同的深度范围采样策略并应用自适应单峰滤波，我们能够在低分辨率阶段获得更准确的深度估计，并迭代地逐步将深度映射到任意分辨率。我们在DTU和BlendenDMVS数据集上进行了广泛的实验，结果表明，我们的方法的表现优于大多数最新方法。

在目标属性下设计和生成新数据一直吸引着各种关键应用，例如分子设计，图像编辑和语音合成。传统手工制作的方法在很大程度上依赖于专业知识经验和强化人类的努力，但仍遭受科学知识和低吞吐量的不足，无法支持有效，有效的数据生成。最近，深度学习的进步引起了可以学习数据的基本表示和属性的表达方法。这种能力为弄清数据的结构模式和功能特性之间的相互关系提供了新的机会，并利用这种关系以生成所需属性的结构数据。本文对这个有前途的研究领域进行了系统的综述，通常称为可控制的深度数据生成。首先，提出了潜在的挑战，并提供了初步的挑战。然后，正式定义了可控的深度数据生成，提出了各种技术的分类法，并总结了该特定领域中的评估指标。之后，引入了可控制的深度数据生成的令人兴奋的应用程序，并对现有的作品进行了实验分析和比较。最后，突出显示了可控制的深度数据生成的有希望的未来方向，并确定了五个潜在的挑战。

该技术报告提出了一种有效的自动驾驶运动预测方法。我们开发了一种基于变压器的方法，用于输入编码和轨迹预测。此外，我们提出了时间流动头来增强轨迹编码。最后，使用了有效的K均值集合方法。使用我们的变压器网络和集合方法，我们以1.90的最新Brier-Minfde得分赢得了Argoverse 2 Motion预测挑战的第一名。

班级学习（CIL）遭受了学习新添加的课程和保留先前学习的课堂知识之间臭名昭著的困境。通过存储重播的历史数据可以减轻灾难性的遗忘问题，这会导致内存开销以及预测更新。为了解决这一难题，我们建议在持续学习中利用“免费”外部未标记的数据查询。我们首先提出了一个带有查询的未标记数据（CIL-QUD）方案的CIL，其中我们仅存储一些过去的训练样本作为锚点，并每次都使用它们来查询相关的未标记示例。除了新的和过去存储的数据外，通过学习 - 验证（LWF）正规化器和班级平衡培训，有效地利用了查询未标记的未标记。除了保留对过去和当前任务的模型概括外，我们下一步研究CIL-QUD的对抗性鲁棒性问题。受到未标记的数据学习强大模型的成功启发，我们探索了一种新的鲁棒性感知的CIL设置，在此设置中，随着新任务不断出现，学习的对手鲁棒性必须抵制遗忘并被转移。尽管现有的选项很容易失败，但我们显示了查询的未标记数据可以继续受益，并无缝将CIL-QUD扩展到其可靠的版本RCIL-QUD中。广泛的实验表明，与以前的最新CIL方法相比，CIL-QUD在CIFAR-10和CIFAR-100上实现了可观的准确性。此外，Rcil-Qud确立了鲁棒性意识CIL的第一个强大里程碑。代码可在https://github.com/vita-group/cil-qud中找到。

可认证的鲁棒性是在安全至关重要的情况下采用深层神经网络（DNN）的高度理想的属性，但通常需要建立乏味的计算。主要障碍在于大型DNN中的大量非线性。为了权衡DNN表现力（要求更多的非线性）和鲁棒性认证可伸缩性（更喜欢线性性），我们提出了一种新颖的解决方案来通过“授予”适当的线性水平来策略性地操纵神经元。我们建议的核心是首先将无关紧要的依赖神经元线性化，以消除既有用于DNN性能的多余的非线性组件，又对其认证有害。然后，我们优化替换线性激活的相关斜率和截距，以恢复模型性能，同时保持认证性。因此，典型的神经元修剪可以被视为一种特殊情况，即授予固定零斜率和截距的线性功能，这可能过于限制网络灵活性并牺牲其性能。在多个数据集和网络骨架上进行的广泛实验表明，我们的线性嫁接可以有效地收紧认证界限； （2）在没有认证的鲁棒培训的情况下实现竞争性认证的鲁棒性（即CIFAR-10型号的30％改进）； （3）将完整的验证扩展到具有17m参数的大型对抗训练的模型。代码可在https://github.com/vita-group/linearity-grafting上找到。

预训练是在各种下游任务上转移学习的广泛采用的起点。对彩票假说（LTH）的最新研究表明，这种巨大的预训练模型可以用极稀疏的子网（又称匹配子网络）代替，而无需牺牲可传递性。但是，实际的安全 - 重要应用程序通常在标准转移之外提出了更具挑战性的要求，这也要求这些子网克服对抗性脆弱性。在本文中，我们制定了一个更严格的概念，双赢彩票，其中预训练模型的位置可以在各种下游任务上独立传输，以在两个标准下达到相同的标准和可靠的概括正如完整的预培训模型可以做到的那样，对抗性训练制度。我们全面检查了各种训练机制，发现强大的预训练倾向于制作出更少的双赢彩票，其性能优于标准对应物。例如，在下游CIFAR-10/100数据集上，我们识别出具有标准的，快速的对抗性和对抗性预训练的双赢匹配子网，以89.26％/73.79％，89.26％/79.03％和91.41％的匹配培训。 /83.22%稀疏。此外，我们观察到获得的双赢彩票票可以在实用数据限制（例如1％和10％）下游方案下传输的数据效率更高。我们的结果表明，彩票票务方案以及数据限制的转移设置可以扩大稳健的预训练的好处。代码可在https://github.com/vita-group/double-win-lth上找到。

无监督的文本到语音综合（TTS）系统学会通过观察以下语言来生成与任何语言中任何书面句子相对应的语音波形：1）用该语言收集的未转录语音波形的集合； 2）用该语言编写的文本集合，无需访问任何抄录的语音。开发这种系统可以显着提高语言技术对语言的可用性，而无需大量平行的语音和文本数据。本文提出了一个基于对齐模块的无监督的TTS系统，该模块输出了伪文本和另一个使用伪文本进行训练和真实文本进行推理的合成模块。我们的无监督系统可以以七种语言的方式实现与监督系统相当的性能，每种语音约10-20小时。还对文本单元和声码器的效果进行了仔细的研究，以更好地了解哪些因素可能影响无监督的TTS性能。可以在https://cactuswiththoughts.github.io/unsuptts-demo上找到我们的模型生成的样品，可以在https://github.com/lwang114/unsuptts上找到我们的代码。

虽然深入学习在固定的大型数据集中取得了重大进展，但它通常遇到关于在开放世界场景，过度参数化和过度拟合小型样本中检测到未知/看不见的课程的挑战。由于生物系统可以很好地克服上述困难，因此个体从集体生物中继承了一个先天基因，这些生物已经进化了数十亿多年，然后通过少数例子学习新技能。灵感来自这一点，我们提出了一个实用的集体个人范式，其中进化（可扩展）网络在顺序任务上培训，然后识别现实世界中的未知课程。此外，提出了学习者，即用于学习目标模型的初始化规则的基因，从集体模型继承了元知识，并在目标任务中重建轻量级各个模型。特别地，根据梯度信息，提出了一种新的标准来发现集体模型中的学习者。最后，只有在目标学习任务上的少量样本才接受培训。我们在广泛的实证研究和理论分析中展示了我们方法的有效性。